終於終於走到這裡了,我先向一路看我拖搞到這的人說先抱歉與謝謝。寫這系列文章主要是剛好正在接觸 E.L.K 這套常見 log solution 時,朋友建議把學習的過程記錄下來,加深自己理解的內容也幫助別人可以有簡單的入門方式。當然我知道自己有很多地方的使用方式還不夠理想,還有很多需要改善的地方,還有很多可以發揮它強大效能的地方沒有補足,但我還是很開心的迎接這最後一天的到來 —— Done is better than perfect. 或許很多人對話此嗤之以鼻但我現在懂它的價值所在,如果真的要做到完美的話這系列文章是不會誕生的,他應該在Day23就結束了(笑)。
Docker
理論上使用 docker 是為了讓我們在個平台上都能夠有相同的操作體驗,我想這應該是沒問題的,畢竟這 30天的內容有的是在 ubuntu 有的是在 mac os 上跑出來的,但本身在此之前並沒有使用 docker 的經驗所以反而花了不少時間在處理 docker 設定的問題,這算是我一開始沒有想到的部分。
年關
2017年拖稿王提名候選人,從跨年開始沒停過的聚餐與小活動讓我好緊張啊~每天都在補前一天的稿的惡性循環實在太難以打破了,再次提醒大家:今日事今日畢,明日成為拖搞王。
Data Set
老實說自己玩的時候用的是公司的資料內容龐大且豐富,但這些資料太敏感了不適合與大家分享,又一直找不到適合的資料集,最後只好用 apache sample log 就寫了。最後在 Github 找到的資料其實很適合,但那也已是26日後為時已晚,下次再參加鐵人賽的話應該要多考慮資料的部分。
E.L.K 其實早在 2016 便已正名為 Elastic Stack 但由於一開始在網路上爬文的時候使用 E.L.K 的文章數還是較多,因此決定用 30天 Docker E.L.K stack 作為系列文標題。且雖然以企業發展來說Elastic Stack 簡潔有識別度,但 E.L.K 直接呈現其由三套軟體所架構出的服務也是我私心覺得比較適合的地方。
Day1 - Why E.L.K
Day2 - 來個快速安裝吧
Day3 - logstash 輸入配置
Day4 - 便利的 logstash plugin (input)
Day5 - 便利的 logstash plugin (filter)
Day6 - 便利的 logstsh plugin (filter - 2)
Day7 - Elasticsearch
Day8 - Elasticsearch CRUD
Day9 - Elasticsearch 狀態檢視
Day10 - Kibana
Day11 - Discover data freely by any shape anytime
Day12 - Reformate timestamp
Day13 - Visualize data with line chart & bubble chart
Day14 - Visualize data with area chart. Markdown your document.
Day15 - DataTable
Day16 - Visualize data with pie chart. Count by metric.
Day17 - Bar chart. Tag Cloud. Tile map.
Day18 - Dashboard
Day19 - Docker
Day20 - Dockerfile & docker-compose
Day21 - Elasticsearch Cluster
Day22 - Multi logstash machines used for monitoring.
Day23 - Kibana Plugin X-Pack Install
Day24 - Kinban Plugin X-Pack Monitoring
Day25 - Kibana X-Pack Graph
Day26 - Apache log 測試範例懶人包
Day27 - 地震熱區資料視覺化測試範例
Day28 - Kibana Extended Metric Plugin
Day29 - Optimization
Day30 - 30 days Review
今年就到這囉,我們來年再會
居然到最後一天才發現有邦友寫ELK,真是太棒了。
現職也有使用ELK,不過logstash是接Kafka。
尤其是X-Pack,感覺就很棒阿,有空再來完整拜讀。
不過我們公司的ELK很舊...1.X版 XDD~有空真想一口氣升級到5.X阿
小弟也是剛接觸的生手距離實戰還有一段距離,X-Pack確實是個特別強大的插件,有的功能我也還沒摸熟不好意思講太多
感謝前輩的回文